Decoupling Search from Reasoning: A Vendor-Agnostic Grounding Architecture for LLM Agents
解耦搜索与推理:LLM Agent 的供应商无关的接地架构
🧭 Agent 搜索接地解耦与成本控制 ★ 深度解读
DoorDash, Inc.
将搜索接地从模型内部移出为可配置的 MCP 网关,在 Prompt 合规、成本、缓存和提供商选择上获得显式控制
📌 工作参考价值(4 点)
- 将搜索定义为显式工具边界,而非模型内置功能:在电商 agent 中,把搜索(如商品检索、Query 理解时的外部知识查询)做成独立工具,通过 MCP 协议标准化输入输出,可避免 Prompt 中严格的输出格式被 native search 的冗长解释破坏,尤其适合需解析 JSON/实体/分类标签的流水线。
- 使用提供商注册表 + 回退链实现搜索路由:在推荐/搜索系统中,可以按成本、新鲜度、覆盖场景动态选择搜索提供商(如 Serper、BrightData),并配置超时回退,保证可用性同时大幅降低搜索 API 开销(实验中成本降低 91%–98%)。
- 利用精确+语义缓存减少重复检索:对电商中高频查询(如热门商品、常见长尾意图),引入基于 embedding 的语义缓存,可达到 99.4% 的缓存命中率,将延迟降低 68% 并接近零边际搜索成本,适合大规模 Agent 场景。
- 将搜索成本、深度、延迟作为可调旋钮:通过调整 max_results(检索结果数)在准确率和成本之间 trade-off(如 SimpleQA 从 2 条增至 6 条后准确率快速上升,之后饱和),让接地层像推荐系统中的召回预算一样可配置,团队可按业务需求调优。